Nørlund slot var i 1300-tallet blot et tårn, der blev kaldt "en røverhule", og som Valdemar Atterdag lod nedrive i 1355. Borgen blev genopbygget og dannede fortsat udgangspunkt for udplyndring af rejsende mellem Randers og Aalborg. I slutningen af 1300-tallet gav dronning Margrete 1. ordre til at nedrive borgen.